Los orígenes de Fantova se sitúan en época romana. Se cree que a mediados del siglo X se construyó una fortificación para defender la frontera del condado, junto con el castillo de Roda. Las libertades y franquicias otorgadas a Fantova, por tratarse de un territorio fronterizo, favorecieron el establecimiento de nuevos pobladores alrededor del castillo.

Sus defensas no fueron suficientes para evitar las incursiones sarracenas de principios del siglo XI. El conde Guillem Isarn fue el encargado de reconstruir la fortaleza. En los siguientes años se convierte en uno de los castillos más importantes de la zona y con bastante actividad bélica. En 1110 pasó a manos de los condes de Pallars Jussà y formó parte del patrimonio condal, hasta que fue incorporado a la Corona. A principios del siglo XIII, el rey Jaume I infeudó el castillo a Berenguer III de Erill. A partir del siglo XIV Fantova formaba parte del tercer condado de Ribagorza. El rey Jaume II cedió el castillo en feudo al Infante Pere.

El castillo se organizaba alrededor de una torre circular, restaurada a finales del pasado siglo. Actualmente tiene una altura de 19 metros y se cree que estaba coronada con una estructura de madera, que no se ha conservado. Interiormente está dividida en cuatro pisos, que se alzan sobre una base maciza.

Como suele ser habitual en este tipo de construcciones, el piso inferior no tiene ningún tipo de apertura y se utilizaba como almacén. El acceso se realizaba a través del suelo de madera que cubría el piso. El siguiente nivel era el de acceso, donde está la puerta de entrada a la torre.

Está orientada hacia sureste y a unos 7,5 metros de altura. Su estructura es de arco de medio dovelado y recorrido por pequeñas losetas.

En esta planta encontramos el elemento más característico de la torre. A diferencia del piso inferior, que tenía un techo de madera, aquí se construyó una bóveda de piedra de aristas, que se apoya en cuatro arcos formeros, que se adaptan a la estructura circular de la torre. No es nada habitual este tipo de estructura en una torre circular, por lo que nos demuestra el buen oficio de los maestros lombardos que trabajaron en esta construcción y el poder que tenía entonces el señor del castillo.

Junto a la puerta de acceso, encontramos una escalera de 24 escalones, que por el interior del muro, nos lleva hasta el tercer nivel, o piso residencial. Una pequeña ventana de un solo derrame, orientada hacia el sur, es la única apertura de la sala, cubierta nuevamente con una estructura de madera.

El nivel superior tiene siete grandes vanos de medio punto, que permitían el acceso a los diferentes tablados de madera que había en el exterior.

El último piso, actualmente un fantástico mirador, estaba cubierto con una estructura de madera, probablemente cónica. El espacio entre almenas está intercalado entre las ventanas del piso inferior, para permitir así una mejor defensa, a través de un cadalso.

Al sur de la torre encontramos unos muros en forma de doble ángulo, que formaban parte del acceso al recinto fortificado.

Cerca de estos muros, encontramos pequeños restos de la muralla, que en su momento rodeó toda la meseta.

Hacia el este del recinto fortificado, encontramos un aljibe excavado en la roca y se aumentó la altura de sus muros con hiladas de sillares.

Completa el conjunto la iglesia de Santa Cecilia, donde el ábside del lado oeste sirve de base para una bestorre semicircular, convertida en campanario.